DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding
DocMemo:面向多模态长文档理解的概率记忆引导动态证据检索
🧭 多模态文档理解 · 动态证据检索与记忆
Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
提出三层记忆状态与贝叶斯页信念更新机制,将长文档推理建模为动态证据探索过程
📌 工作参考价值(4 点)
- Agent 记忆机制设计:三层记忆(结构模式记忆、页信念记忆、问题情景记忆)可借鉴用于多轮对话推荐系统中,管理用户状态、商品上下文与推理轨迹,解决长对话场景下兴趣漂移与证据跟踪问题。
- 不确定性驱动的探索:汤普森采样与贝叶斯页信念更新提供了一种平衡探索与利用的范式,可迁移至推荐系统的冷启动或动态兴趣建模,例如在新商品或新用户场景下自适应调整曝光策略。
- 结构感知的自适应粒度检索:根据文档结构(目录、节标题)动态选择检索粒度(整页、段落、视觉区域),对应电商场景中商品详情页的结构化信息(标题、图文、参数表)的分层次检索,提升证据定位效率。
- 空间邻近传播:利用相邻页面的相关性平滑信念,可启发推荐系统中基于会话内邻近商品或协同过滤的置信传播,增强对强相关 item 的召回。